From Reweighting to Rewriting: Unlocking the Intervention Effects of Influential Samples in Training Data Attribution
从重加权到重写：解锁训练数据归因中高影响样本的干预效应
🧭 训练数据归因 · 影响力函数干预
Peking University · YiXin-AI Lab · Beijing Academy of Artificial Intelligence
影响力函数选中的样本在重加权下干预有限，但对其响应进行重写可实现更强、持久且双向的行为改变
📌 工作参考价值（4 点）
- 在 LLM 微调治理中，若需修正拒答/过度生成、安全合规、商品属性表达等行为，用影响力函数（IF）选出的少量高杠杆样本，直接重写其 response（而非 instruction），比调整样本权重或随机改样本更有效且效果更持久、双向可控。
- 可把 IF 作为数据清洗/标注预算分配工具：优先重标注 IF 分数高的训练样本，用行为对齐/对抗的监督信号做定向改写，能通过极小样本集实现行为翻转，避免大量重训。
- 重加权在评估 TDA 时会低估样本干预价值，实际落地评估归因方法时应区分“局部重加权效应”与“重写干预杠杆”，不要仅用 weight-based 干预去验证归因质量。
- 针对电商/搜索场景的 LLM 应用（如商品问答、广告文案、政策拒答），可构建行为探针（如 epistemic abstention、safety refusal），用 IF 定位问题样本并重写响应来快速修复 badcase。